जैसे-जैसे व्यवसाय बड़े भाषा मॉडल (LLMs) का अधिक से अधिक उपयोग कर रहे हैं, मॉडल के ज्ञान की सटीकता को बढ़ाने और भ्रांतियों की घटना को कम करने का तरीका एक महत्वपूर्ण चुनौती बन गया है। मेटा एआई के शोधकर्ताओं ने एक नए पेपर में "स्केलेबल मेमोरी लेयर" का प्रस्ताव दिया है, जो शायद इस समस्या का समाधान प्रदान कर सके। स्केलेबल मेमोरी लेयर का मूल विचार LLMs में अधिक पैरामीटर जोड़ना है जबकि अनुमान लगाने के समय गणना संसाधनों को न बढ़ाते हुए, जिससे इसकी सीखने की क्षमता बढ़ सके। यह आर्किटेक्चर उन एप्लिकेशन के लिए उपयुक्त है जिन्हें बड़ी मात्रा में तथ्यात्मक ज्ञान को संग्रहित करने की आवश्यकता है लेकिन फिर भी प्रदर्शन बनाए रखना है।

हाल ही में मेटा कंपनी ने एक क्रांतिकारी शोध成果 का अनावरण किया है, जिसमें उन्होंने एक नई प्रकार की मेमोरी लेयर तकनीक विकसित की है, जो बड़े भाषा मॉडल (LLM) की तथ्यात्मक सटीकता में महत्वपूर्ण सुधार कर सकती है और पैरामीटर स्केल पर अभूतपूर्व विस्तार हासिल करती है। यह तकनीक परंपरागत तंत्रिका नेटवर्क के विस्तार के तरीके को चुनौती देती है और भविष्य की AI आर्किटेक्चर डिज़ाइन के लिए नए दिशा-निर्देश प्रदान करती है। इस शोध का मूल तत्त्व प्रशिक्षित कुंजी-मूल्य खोज तंत्र का उपयोग करना है, जो बिना गणना मात्रा (FLOPs) को बढ़ाए मॉडल में अतिरिक्त पैरामीटर जोड़ता है। इस पद्धति का मूल विचार